Automatic detection of musicians' ancillary gestures based on video analysis

クラリネット奏者のancillary gesturesを検出する新しいアプローチを提案

3つの共通するジェスチャーを認識できた。

A novel approach for the detection of ancillary gestures produced by clarinetists during musical performances is presented in this paper. Ancillary gestures, also known as non-obvious or accompanist gestures are produced spontaneously by musicians during their performances and do not have meaning in sound, but they help in the creation of music. The proposed approach consists in detecting, segmenting and tracking points of interest and parts of the musician body in video scenes to further analyze if the movement associated to these points of interest or body parts could be related to ancillary gestures. In particular, we tackle the problem of detecting the three most commonly seen ancillary gestures of this class of musicians: clarinet bell moving up and down, bending of the knees and shoulder curvature. In this paper we show that the optical flux algorithm for tracking a point of interest at the bottom of the clarinet bell and the projection profile algorithm for analyzing the knees and the shoulder regions are effective in detecting ancillary movements related to the clarinet, knee movement and body curvature respectively. These techniques were evaluated with respect to the precision and recall in detecting ancillary gestures on 12,423 video frames of nine clarinetists’ presentations recorded in a studio. The experimental results have shown that the precision in detecting ancillary gestures varies between 78.4% and 92.8%, while the recall varies between 85.3% and 95.5%. These results also imply that any further analysis of the videos by specialists could focus on less than 500 frames which represents a reduction of more than 99% in the workload.

本稿では、演奏中にクラリネット奏者によって生成された付随的なジェスチャーを検出するための新しいアプローチを紹介します。非自明なジェスチャとして知られる補助的なジェスチャは、演奏中にミュージシャンによって自発的に生成され、音には意味がありませんが、音楽の作成に役立ちます。提案されたアプローチは、ビデオシーン内の関心点および音楽家の身体の部分を検出、セグメント化および追跡して、これらの関心のある点または身体の部分に関連する動きが補助的なジェスチャに関連し得るかどうかをさらに分析することからなる。特に、このクラスのミュージシャンの最も一般的に見られる3つの補助的なジェスチャーを検出するという問題に取り組みます。クラリネットベルの上下動、膝の曲げ、肩の湾曲​​。本論文では、クラリネットベルの底部における関心点を追跡するための光束アルゴリズムと、膝と肩領域を分析するための投影プロファイルアルゴリズムが、クラリネット、膝の動きと関連した付随的な動きを検出するのに有効であることを示す。それぞれ体の曲率。これらの技術は精度に関して評価され、スタジオで記録された9人のクラリネット奏者のプレゼンテーションの12,423個のビデオフレーム上の補助的なジェスチャーを検出する際の思い出しが再現されました。実験結果は、補助的なジェスチャを検出する際の精度は７８．４％から９２．８％の間で変化する一方、再現率は８５．３％から９５．５％の間で変化することを示した。これらの結果は、スペシャリストによるさらなるビデオの分析が500フレーム未満に焦点を当てることができ、これが作業負荷を99％以上削減できることを意味しています。

article{SegerWK14,

author = {R. A. Seger and

M. M. Wanderley and

A. L. Koerich},

title = "{Automatic detection of musicians' ancillary gestures based on video analysis}",

journal = {Journal of Expert Systems with Applications},

volume = {41},

number = {4},

pages = {2098--2106},

year = {2014},

doi = {10.1016/j.eswa.2013.09.009},

timestamp = {Wed, 14 Nov 2018 10:12:41 +0100},

}